生成学习算法，英文为Generative Learning Algorithm。
我们之前看到的都是判别学习算法（Discriminative Learning Algorithm）。判别学习算法可以分成两种：
- 学得$p(y|x)$，比如之前的线性模型
- 学得一个假设$h_\theta (x) = \lbrace 0, 1 \rbrace$，比如二分类问题
上面都是根据特征$x$，来对输出$y$进行建模，也许$y$是一个连续的值，也可能是离散的，比如类别。
那么，生成学习算法（Generative Learning Algorithm）刚好跟判别学习算法（Discriminative Learning Algorithm）相反，其用输出$y$对$x$进行建模，也就是：学得$p(x|y)$。
详细解释：
对于一个二分类或多分类问题，生成学习算法，在给定样本所述的类别的条件下，会对其样本特征建立一个概率模型。举例而言，在给定癌症是良性或者是恶性的条件下，生成模型会对该癌症的特征的概率分布进行建模。
根据朴素贝叶斯，
$$
p(y=1|x)=\frac{p(x|y=1) p(y=1)}{p(x)}
$$
因为给定了$x$，所以$p(x)$可以视作1，也即
$$
p(y=1|x)=p(x|y=1) p(y=1)
$$
高斯判别算法
Gaussian Discriminant Algorithm
对特征满足高斯分布的二分类问题进行建模。
假设$x \in \Bbb R^n$，且$p(x|y)$满足高斯分布，因为$x$往往是一个特征向量，故而这里的高斯分布是一个多元高斯分布（multivariate Gaussian）。
多元高斯分布，$z \sim N(\mu, \Sigma)$。
$$
p(z)=\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}exp(-\frac{1}{2}(z-\mu)^T\Sigma^{-1}(z-\mu))
$$
$z$是一个$n$维向量，$\mu$则是均值向量，$\Sigma$是协方差矩阵：$E[(z-\mu)(z-\mu)^T]$。
对于一个二分类判别问题，正则响应函数为$\phi$，那么
$$
p(y)=\phi^y(1-\phi)^{1-y}
$$
且
$$
p(x|y=0) \sim N(\mu_0, \Sigma) \\
p(x|y=1) \sim N(\mu_1, \Sigma)
$$
(这里假设了，对于$y=0$和$y=1$，是两个不同均值，但协方差矩阵相同的多元高斯分布，所以这也是该模型的限制之一)
我们写出对数似然函数：
$$
\begin{align}
l(\phi, \mu_0, \mu_1, \Sigma) &= log\prod_{i=1}^mp(x^{(i)}, (y^{(i)})) \\
&= log\prod_{i=1}^mp(x^{(i)}| (y^{(i)}))p(y^{(i)})
\end{align}
$$
对比一下之前二分类问题中的对数似然估计函数：
$$
l(\theta) = \sum_{i=1}^mlog(P(y^{(i)}|x^{(i)};\theta))
$$
这里，我们使用了联合概率（joint likelihood）: $p(x^{(i)}, (y^{(i)}))$，而在之前的判别模型里，我们用的是条件概率（conditional likelihood）: $P(y^{(i)}|x^{(i)};\theta)$。因为，在判别模型中，特征$x$是给定的，所以用条件概率来进行极大似然估计；而在生成模型中，特征$x$不给定，所以需要用联合概率来进行极大似然估计。
然后，我们进行极大似然估计，得到：
$$
\phi=\frac{1}{m}\sum_{i=1}^my^{(i)}=\frac{1}{m}\sum_{i=1}^m 1\lbrace y^{(i)} = 1 \rbrace
$$
也就是分类标签为1的训练样本的比例。
再看$\mu_0, \mu_1$：
$$
\mu_0=\underbrace{\sum_{i=1}^m 1\lbrace y^{(i)} = 0 \rbrace \cdot x^{(i)}}_{(1)} /\underbrace{ \sum_{i=1}^m 1\lbrace y^{(i)} = 0 \rbrace}_{(2)} \\
\mu_1=\sum_{i=1}^m 1\lbrace y^{(i)} = 1 \rbrace \cdot x^{(i)} / \sum_{i=1}^m 1\lbrace y^{(i)} = 1 \rbrace
$$
式(1)表达了分类为0的样本中，特征$x$的和；式(2)表达了分类为0的样本个数；故而$\mu_0$表达了样本中，分类为0的样本的特征的均值。同理得到$\mu_1$。
我们再次回顾上面的高斯判别算法，事实上，高斯判别算法，假设了特征$x$满足了多元高斯分布，利用极大似然估计，对不同类别的特征$x$的分布进行了建模。
下节课我们将会探讨其他的关于生成学习算法的案例。